\chapter{实验与结果}
\label{cha:experiment}

\section{实验设计}
由于计算资源的限制，我们在现有模型的基础上进行了有限规模的训练。在后处理阶段，我们引入了第三章中实现的贝叶斯方法，以对该小规模模型的输出结果进行改进和优化。

\section{小规模模型预测结果}
由图\ref{fig:samll_predict}可以看出，小规模模型的预测结果准确率并不高。这是因为在训练过程中，由于算力的影响，我们无论在数据集的大小、模型的复杂度还是模型的训练周期都无法与原模型相提并论，而这些恰恰是影响模型训练结果的重要因素。
\begin{figure}[h]
    \centering
    \begin{subfigure}{0.49\textwidth}
        \includegraphics[width=\textwidth,height=.2\textheight]{image/improve/image-20231129082235236.png} 
        \caption{}
        \label{fig:sp1}
    \end{subfigure}
    \begin{subfigure}{0.49\textwidth}
        \includegraphics[width=\textwidth,height=.2\textheight]{image/improve/image-20231129082414448.png} 
        \caption{}
        \label{fig:sp2}
    \end{subfigure}
    \begin{subfigure}{0.49\textwidth}
        \includegraphics[width=\textwidth,height=.2\textheight]{image/improve/samll2.png} 
        \caption{}
        \label{fig:sp3}
    \end{subfigure}
    \begin{subfigure}{0.49\textwidth}
        \includegraphics[width=\textwidth,height=.2\textheight]{image/improve/small1.png} 
        \caption{}
        \label{fig:sp4}
    \end{subfigure}
    % \includegraphics[width=.49\textwidth,height=.2\textheight]{image/improve/image-20231129082235236.png} 
    % \includegraphics[width=.49\textwidth,height=.2\textheight]{image/improve/image-20231129082414448.png} \\
    % \includegraphics[width=.49\textwidth,height=.2\textheight]{image/improve/samll2.png}
    % \includegraphics[width=.49\textwidth,height=.2\textheight]{image/improve/small1.png}
    \caption{小规模模型预测结果}
    \label{fig:samll_predict}
\end{figure}

然而，在观察过程中我们发现小规模的模型已经能够初步预测出单词雏形，对大部分不受场景光线、遮挡干扰的单词具有较小的误差。例如，图\ref{fig:sp1}中的'The'被预测为'Thene'，相比正确单词增加了两个字符，'Concept'被预测为'Cononcept'，也是增加了两个字符；图\ref{fig:sp2}中的'SHOP'被预测为'SHOPHOP'，相比正确单词增加了三个字符。通过大量的观察，我们发现小规模模型的错误预测结果是与正确预测结果相近的，而且编辑距离小于3的占比是较大的，所以对于这样的结果采取我们的改进方法是有意义的。

\section{改进算法结果展示}
通过观察图\ref{fig:improve}，我们发现小规模模型的部分错误预测结果是能够通过我们的算法进行修正的，而且表现出较好的效果。
\begin{figure}[h]
    \centering
    \includegraphics[width=\textwidth,height=.25\textheight]{image/improve/improve1.png} \\
    \includegraphics[width=\textwidth,height=.25\textheight]{image/improve/improve2.png}
    \caption{改进算法纠错结果}
    \label{fig:improve}
\end{figure}

\section{性能分析}

我们对小规模模型测试集产生的单词进行上述分类优化，统计分析了 340 个无遮挡的预测结果单词并对他们进行优化。在 340 个单词中，正确预测的单词有 26 个，占比 7.6\%，编辑距离在 2 步内的有 181 个，占比 53.2\%。 我们的改进方法在 181 个样本中成功修正 88 个，占比 48.6\%。由于测试集样本采集自街道数据，其包含一定量的无实际语义、不包含于语料库的单词，其在该算法下不能够被正确修正。在其他场景如文书、板书等无错误语义单词干扰的场景下进行文本定位识别将得到更好的修正效果。总体上来说，修正前完全预测正确的概率为 7.6\%，修正后整体预测正确概率为 25.9\%。我们的改进方法对小规模模型有约 3.4 倍的性能提升。